AWS DataSync でオンプレミスからのデータ転送しようと思ったときの検討ポイント
2024.10.12オンプレミスのストレージデータをクラウドにバックアップしたい、あるいは継続的にデータをクラウドへインターネット経由で転送したい。このようなときに思い浮かぶ AWS サービスと言えば、AWS DataSync が挙げられます。
本記事では、オンプレミスのデータを Amazon S3 へバックアップする構成を例に AWS DataSync を利用してオンプレミスからデータを転送するために必要な要素を解説します。 特に DataSync エージェントの実行環境準備に焦点を当てます。
画像引用: AWS DataSync【AWS Black Belt】 - YouTube
DataSync とは
AWS DataSync の基本構成や詳細な説明については、BlackBelt をご確認ください。
DataSync エージェントの実行環境準備
DataSync エージェントは、オンプレミスのデータを AWS へ転送するために必要不可欠なリソースです。エージェントという名称から、サーバー上で動作する軽量なサービスを想像するかもしれません。しかし、実際には仮想アプライアンスとして提供され、仮想マシンとして起動します。
この点が、DataSync の導入を検討する際の重要なポイントとなります。
ハイパーバイザーの選択
DataSync エージェントは、サーバーに直接インストールして環境構築はできません。
DataSync エージェントが実行可能なハイパーバイザーは以下の 3 種類です。
- VMware ESXi
- KVM
- Microsoft Hyper-V(2012R2, 2016, 2019)
既存のハイパーバイザーの実行環境がない場合
新規にハードウェアと、ハイパーバイザー導入を検討することになります。
多くのインフラエンジニアにとって馴染みのある VMware ESXi は、無償版が入手不可能になりました。有償版を検討する場合もライセンス代の値上がりが課題となります。
End Of General Availability of the free vSphere Hypervisor (ESXi 7.x and 8.x)
KVM については、公式ドキュメントにも記載されている通り、KVM に精通したエンジニアがいる環境でない限り運用が難しいでしょう。
We recommend this option if you already have a KVM environment up and running and you're already familiar with how KVM works.
Requirements for AWS DataSync agents - AWS DataSync
最後は Microsoft Hyper-V です。Windows Server がホストとなります。注意点として現時点で最新の Windows Server 2022 は公式にサポートされていません。また、DataSync エージェントは Hyper-V の第 1 世代の VM でしか提供されていないため、Windows Server へのサポートは積極的ではない様子が伺えます。
しかし、これら 3 つのハイパーバイザーの中では、Hyper-V が最も導入・運用しやすい選択肢かもしれません。
ハイパーバイザーだけ利用可能な Hyper-V Server は無償で提供されていますが、Server Core（Windows の CUI 操作） での運用に慣れていないと厳しいことでしょう。
仮想マシンの要件
DataSync エージェント用の VM 起動には以下が最低スペックとなります。要求メモリが多いため、既存の環境へのデプロイを検討している場合は、十分な空きリソースがあるかご確認ください。
- CPU: 4 コア
- メモリ: 32GB 以上
- ストレージ: 80GB
詳細は以下のブログを参照ください。
代替オプション： AWS Snowcone を利用する
DataSync エージェントのためにハードウェア、ハイパーバイザーの運用を増やしたくない場合、Snowcone（物理デバイス）を AWS からレンタルして、DataSync エージェントの実行環境として利用する方法もあります。
Using AWS DataSync to Transfer Files - AWS Snowcone User Guide
AWS Snowcone を利用する場合の構成とコストについて
Snowcone は、DataSync エージェントが利用可能な物理デバイスです。このデバイスをオンプレミス環境に設置することで、追加のハードウェアやハイパーバイザーの準備が不要になります。
コスト面では Snowcone のレンタル料金と、DataSync のデータ転送量に応じた料金が発生します。日単位の契約も可能ですが長期利用の場合、月額$150 の利用費を支払う方が安価に導入できます。一般的にはハードウェアを自前で用意するよりも初期コストを抑えられます。ただし、長期的な利用では自前の環境を用意した方がインフラ代に関しては安くなる可能性はあります。
AWS Snowcone の料金 | Amazon Web Services
DataSync 構成例
以下の構成例では、次の前提条件を考慮しています。
- データ転送はインターネット経由を優先
- オンプレミス側のファイル共有プロトコルとして NFS を使用
これらの条件下で、DataSync を利用したデータ転送の 3 つの主要な構成例を紹介します。
ハイパーバイザー使用した標準的な例
この構成では、オンプレミス環境のハイパーバイザー上に DataSync エージェントを仮想マシンとしてデプロイします。
- オンプレミスの NFS サーバーからデータを読み取ります。
- DataSync エージェントがデータを処理し AWS へ転送します。
- インターネット経由で 最終的に Amazon S3 にデータが保存されます。
課金要素一覧
Snowcone 使用例
この構成では、AWS が提供する物理デバイスである Snowcone を利用して DataSync エージェントを実行します。Snowcone は NFS サーバとして利用することになるため注意が必要です。
- オンプレミスの NFS サーバーから一度 Snowcone 上ストレージへデータを移動する必要があります。
- Snowcone 上の DataSync エージェントがデータを処理し AWS へ転送します。（VM と比べると非力です）
- インターネット経由で 最終的に Amazon S3 にデータが保存されます。
課金要素一覧
オンプレミスにハードウェアを置けない場合の例
この構成では、DataSync エージェントを AWS 上の EC2 インスタンスとして実行します。ラックに新しいハードウェアの追加が難しい場合や、ハードウェアのお守りを増やしたくない場合を想定しています。
- NFS でファイル共有するために Site-to-Site VPN または DirectConnect でオンプレミスと VPC 間を接続
- データはインターネット経由で AWS 上の DataSync エージェント（EC2 インスタンス）に転送
- EC2 上の DataSync エージェントがデータを処理し、Amazon S3 に保存
この構成のデメリットは、DataSync の効率化されたデータ転送機能が活かせずデータ転送効率が低下します。そのため、ベストプラクティスはオンプレミスに DataSync エージェントを配置することになります。技術的には可能ではですがが DataSync を利用する旨味が減ります。
課金要素一覧
正確には、VPC エンドポイント利用費に加えて、VPC エンドポイントのデータ処理料の課金も発生します。ただし、実データは VPC エンドポイントを経由せず、管理用の通信のみが VPC エンドポイントを経由します。そのため、VPC エンドポイントのデータ処理量は全体の利用費と比較すると、ほとんど無視できる程度の金額になると考えられます。
まとめと考慮事項
-
ハイパーバイザー使用した標準的な構成
- メリット：既存のインフラを活用できる
- デメリット：新規導入の場合は初期コストが高い、サーバーの運用負担が発生する
- 選択ポイント：既存のハイパーバイザー環境がある、長期的な利用を予定している
-
Snowcone を使用
- メリット：セットアップが簡単、ハードウェア管理が不要
- デメリット：スペックは高くない、長期利用ではコスト高になる可能性あり
- 選択ポイント：迅速な導入が必要、オンプレサーバーの運用負担を軽減したい
-
オンプレミスにハードウェアを置けない場合
- メリット：オンプレミスにハードウェアを置く必要がない
- デメリット：データ転送効率低下、AWS利用費が全体的に増加
- 選択ポイント：オンプレミスにハードウェアを置けない制約がある
プロジェクトの期間、予算、既存インフラ、セキュリティ要件、パフォーマンス要件を総合的に考慮し、最適なオプションを選択することが重要です。
おわりに
余談ですが、私も以前はハイパーバイザーの理解を深めるために KVM と Xen の検証環境を用意して勉強していました。現在では、パブリッククラウドのサービスベンダーが私よりもはるかに効率的に仮想基盤を運用しているため、そのような知識が直接活かされる機会は減りました。
